Skip to content

feat(ai-analyzer): tool-using agentic loop (Tier 1) - #84

Merged
developowl merged 1 commit into
mainfrom
feat/ai-analyzer-agentic-tier1
Jun 25, 2026
Merged

developowl merged 1 commit into
mainfrom
feat/ai-analyzer-agentic-tier1

Conversation

@developowl

Copy link
Copy Markdown
Collaborator

Closes #83.

Summary

ai-analyzer 를 single-shot Bedrock 호출에서 agentic loop 로 전환. 모델이 1차 컨텍스트만으로 결론낼 수 있으면 그대로 종료(현행과 동일 latency/비용), 추가 정보가 필요하면 read-only 도구로 직접 fetch 후 다음 iteration 으로 진행.

What

신규 도구 (Tier 1) — 모두 read-only, 기존 fetcher 재활용:

Tool 인자 함수
query_metrics promql, lookback_minutes (≤360) vm.fetch_promql (신규)
query_logs logql, lookback_minutes (≤360), limit (≤500) loki.fetch_logql (신규)
list_recent_alerts window_minutes (≤360, 본인 fingerprint 제외) alertmanager.list_active (신규 파일)

변경 파일:

apps/ai/ai-analyzer/app/context/alertmanager.py  (new)
apps/ai/ai-analyzer/app/context/vm.py            (+fetch_promql)
apps/ai/ai-analyzer/app/context/loki.py          (+fetch_logql)
apps/ai/ai-analyzer/app/bedrock.py               (+analyze_agentic, TOOL_SCHEMAS, _dispatch_tool)
apps/ai/ai-analyzer/app/main.py                  (분기 — AGENT_ENABLED)
apps/ai/ai-analyzer/app/slack.py                 (footer +agent_iters)
apps/ai/ai-analyzer/chart/values.yaml            (+AGENT_ENABLED, AGENT_MAX_ITERATIONS, AM_URL)
apps/ai/ai-analyzer/README.md                    (env 표 + 도구 설명)

안전망

  • AGENT_MAX_ITERATIONS=5 강제 종료
  • 같은 (tool, args) 중복 호출 감지 → error 결과 inject 후 다음 turn 에 종료 유도
  • LogQL limit ≤ 500, lookback ≤ 360min 스키마 clamp
  • 모든 도구 read-only — system prompt 에 mutating 명령어 금지 명시 (기존 유지)
  • AGENT_ENABLED=false 토글 시 기존 single-shot analyze() 경로 그대로

Why

기존 1-pass 한계:

  • 알람이 cascade 인지 single-shot 인지 모델이 알 수 없음
  • 1차 컨텍스트 window/filter 가 좁아 가설을 좁힐 수 없을 때 추측에 의존
  • "ceph osd 로그를 다시 보고 싶다" 같은 second-pass 가 불가능

agentic loop 시 시나리오:

[iter 1] 1차 컨텍스트 → 가설: "디스크 + 메모리 동시 압박, ceph 의심"
         → list_recent_alerts(10) 호출
[iter 2] 결과: HighDiskIO + NodeMemoryPressure 같은 pc1
         → query_logs("{k8s_cluster_name='pc1'} |~ 'ceph|osd'", 10) 호출
[iter 3] 결과: "PG rebalance" 라인 다수 → 결론 도출 → end_turn

Validation

  • py_compile 통과
  • helm template (chart values.yaml YAML lint 통과)
  • 머지 후 synthetic webhook 3 케이스로 검증 계획:
    • 단순 알람 → iter=1 (도구 호출 없이 즉시 종료)
    • 복잡 알람 → iter≥2 (도구 호출 후 종료)
    • 의도적 중복 유도 → 중복 감지 후 안전 종료

Notes

  • AM_URL 기본값 http://alertmanager.alertmanager:9093 은 apps/metric-server/vmalert/values.yaml 의 vmalert target 과 동일 — in-cluster service. Tailscale IP pinning 불필요.
  • Nova Pro 와 Claude 둘 다 Converse toolConfig 지원. 현 default model (apac.amazon.nova-pro-v1:0) 그대로 호환.
  • iteration latency 증가 (5s → 15-30s) 는 Alertmanager async webhook 이므로 운영 영향 없음.

🤖 Generated with Claude Code

Closes #83.

ai-analyzer 를 single-shot 호출에서 Bedrock Converse toolConfig
기반 agentic loop 로 전환. 모델이 1차 컨텍스트만으로 결론낼 수
있으면 즉시 종료, 추가 정보가 필요하면 read-only 도구로 직접 fetch.

Tier 1 도구:
- query_metrics(promql, lookback_minutes) — VictoriaMetrics 추가 조회
- query_logs(logql, lookback_minutes, limit) — Loki 추가 조회
- list_recent_alerts(window_minutes) — Alertmanager 활성 알람 (cascade 판별)

안전망:
- AGENT_MAX_ITERATIONS=5 강제 종료
- 같은 (tool, args) 중복 호출 detect → 즉시 정리 후 break
- Loki limit ≤ 500, lookback ≤ 360min schema clamp
- 모든 도구 read-only
- AGENT_ENABLED=false 로 토글 시 기존 single-shot 경로 fallback

Slack 카드 footer 에 `agent_iters=N` 추가하여 운영 중 깊이 추적 가능.

Co-Authored-By: Claude Opus 4.7 <noreply@anthropic.com>
@developowl
developowl merged commit 847a302 into main Jun 25, 2026
1 check passed
developowl added a commit that referenced this pull request Jun 25, 2026
PR #84 검증에서 세 케이스 모두 agent_iters=1 로 끝났는데, 본문에
`query_metrics(promql=...)`, `query_logs(logql=...)` 같이 도구 이름을
텍스트로 박아 운영자 명령어처럼 제시함. tool call 을 발행하지 않고
응답으로 직접 작성한 결과.

원인: 기존 system prompt 가 "출력 형식: 명령어 bullet" 으로 텍스트
응답을 강하게 박아두어, 도구 이름을 그 형식에 맞춰 명령어처럼
출력하는 경향. 도구 사용 지침이 출력 형식 섹션보다 약했음.

Fix:
- "두 가지 모드" 섹션 신설 — (A) tool call 발행 vs (B) 최종 답변 작성.
  한 turn 에 둘 중 하나만 한다고 명시.
- (A) 모드 안에 "도구 이름을 텍스트로 적지 말 것" 강조.
- (B) 모드 안에 "agent 도구 이름은 등장 X, 실제 kubectl/LogQL/PromQL 만"
  명시.
- 모드 선택 기준을 별도 섹션으로 추출.

Co-authored-by: Claude Opus 4.7 <noreply@anthropic.com>
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

feat(ai-analyzer): tool-using agentic loop (Tier 1 — query_metrics / query_logs / list_recent_alerts)

1 participant